정보과학회논문지 (Journal of KIISE)
Current Result Document :
| 한글제목(Korean Title) |
분산 바이너리 베르누이 샘플링의 최적화 |
| 영문제목(English Title) |
Optimization of Distributed Binary Bernoulli Sampling |
| 저자(Author) |
조원형
길명선
주남수
문양세
Wonhyeong Cho
Myeong-Seon Gil
Namsu Ju
Yang-Sae Moon
|
| 원문수록처(Citation) |
VOL 46 NO. 12 PP. 1322 ~ 1327 (2019. 12) |
한글내용
(Korean Abstract) |
본 논문은 바이너리 베르누이 샘플링(binary Bernoulli sampling, 이하 BBS)의 성능 향상 방법을 제안한다. BBS는 다수의 입력 소스에서 발생하는 대용량 스트림 처리에 효과적인 샘플링 기법이다. 최근에는 이러한 BBS에 다중 코디네이터 구조를 접목한 아파치 스톰(Apache Storm) 기반 분산 BBS 모델이 제시되었다. 그러나, 해당 모델은 코디네이터 대기 문제가 발생하여 성능 향상에 제한이 있다. 본 논문에서는 이 같은 코디네이터 대기 문제를 다중 분배 구조와 분배자 분리 구조를 도입하여 해결한다. 다중 분배 구조는 하나가 아닌 여러 코디네이터가 분배에 참여하는 것으로, 코디네이터의 대기를 최소화한다. 분배자 분리 구조는 코디네이터에서 분배 기능을 분리하여 처리 성능을 극대화한다. 우리는 제안한 구조를 스톰 기반의 분산 BBS에 구현하여 다양한 실험을 진행하였다. 실험결과는 기존 분산 BBS에 비해 최대 90배까지 성능이 향상됨을 보여주었다.
|
영문내용
(English Abstract) |
This paper proposes a method to improve the performance of Binary Bernoulli Sampling (BBS). BBS is a sampling technique suitable for a multi-source stream environment. Accordingly, a recent approach has been proposed for distributed processing of BBS based on Apache Storm, with a multi-coordinator structure. However, this approach causes an additional coordinator waiting problem, which limits the performance improvement. In this paper, we solve the coordinator waiting problem by introducing a multi-distribution structure and a distributor separation structure. The multidistribution structure enables multiple coordinators, rather than one, to participate in the distribution, minimizing the coordinator waiting time. The distributor separation structure moves the distributing function from the coordinators to the distributors, maximizing the processing performance. We perform various experiments by implementing our proposed structure on the Storm-based distributed BBS. The experimental results show that our structure improves the performance by up to 90 times compared to the previous distributed BBS.
|
| 키워드(Keyword) |
데이터 스트림
샘플링
분산처리
바이너리 베르누이 샘플링
아파치 스톰
data stream
sampling
distributed processing
Binary Bernoulli Sampling
Apache Storm
|
| 파일첨부 |
PDF 다운로드
|
